新加坡南洋理工大学陈晓东教授《Nat.Commun.》：基于局域力电耦合界面的手势动态识别

点击上方“蓝字” 一键订阅

肌肉的收缩动作由运动神经通过动作电位刺激控制，这一激发-收缩转换通过神经肌肉接合点的力电耦合过程完成，而其伴随的肌电信号和力学响应常被用作手势识别和人机交互的控制源。然而，基于肌电信号的策略通常对低力度的手势动作低敏，而基于力学响应信号的策略则受限于力电延迟等效应。近年来，部分识别系统整合了独立的肌电信号和力学信号传感器，却因突触传导、动作电位传导过程、肌肉力传导及梯度形变等内在力电耦合因素，导致肌电信号和力学响应存在时间和空间的明显差异(图1)，从而削弱了这一策略的准确性。为了实现更加精准的动态人机交互，新加坡南洋理工大学陈晓东教授课题组提出了局域力电耦合界面的概念，制备了生物启发的复合贴片，用于捕捉手势动作中的激发-收缩特征，并判断动作的幅度、力度和速度，进而用于机械手的动作动态控制。

图1.力电耦合的时空差异性

受细胞伪足粘附机制启发，该研究团队开发了多层复合贴片模拟了伪足的透膜结构及其与膜外配体特异性识别的特征。他们通过水凝胶穿透微裂纹金膜薄形成的“粘附斑”与钛金属层和弹性体薄膜形成界面化学键和，制备了由离子水凝胶、金/钛双层金属纳米薄膜和弹性体薄膜组成的四层复合贴片（简称CoupOn）（图2）。该复合贴片可同时同地监测肌肉收缩过程中表面肌电信号和力学应变，从而捕捉肌肉动作过程的激发-收缩特征；其肌电信号信噪比可达32.2dB，应变计灵敏系数可达34。此外，CoupOn复合贴片与皮肤粘附力可达15 N/m，兼具良好的共形能力，使得其皮肤接触阻抗低至商业电极Vitrode的30%左右。弹性体上热蒸镀形成的微裂纹金膜被广泛用于应变传感器，而CoupOn复合贴片中脆性钛金属纳米薄膜和水凝胶的引入进一步提高了其应变灵敏系数约10倍，且拉伸率仍维持在100%以上。

图2.细胞粘附启发的四层复合贴片CoupOn

该研究团队进一步以前臂浅屈肌 (flexor digitorum superficialis (FDS) muscle) 为对象，系统验证了肌肉的局域力电耦合特征与手部动作的关联性，并发现力电耦合特征和效率不仅与监测位点相关，同时受动作力度和速度的影响(图3)。前臂浅屈肌通过其位于腕隧道下的肌腱与食指、中指、无名指和小拇指的掌指关节和指间关节相连，并控制四个手指的弯曲动作。他们发现，在最小力度的握拳动作中 (minFist) 仅产生一个明显的应变平台，而在最大力度的握拳动作中 (maxFist) 则产生了相对略高的应变平台以及一个显著的肌电信号峰，这也验证了单一肌电信号用于手势识别存在盲区。他们进一步发现，同样完成maxFist动作时，位于肌肚处同位于肌腱处的贴片应变信号差异显著；位于肌腱处的应变包含更多细节，甚至可以用于辅助识别单个手指的弯曲，这也验证了抓取力电耦合特征时局域性的必要性。通过比对11名志愿者在对抗不同力度握力计的激发-收缩特征，该研究团队亦发现这种耦合效率存在个体差异；而普遍的规律是，力电耦合效率会因动作力度而异，其中应变信号对低力度端动作更灵敏，而肌电信号对高力度动作更为灵敏。除了监测位点和力度外，该团队亦发现握拳速度对肌肉的力电耦合的影响(图4)。相较于快速握拳(1秒内)，慢速握拳(2秒以上)产生的应变仅下降不到10%，而其对应的肌电信号则显著下降了近35%。

图3.复合贴片CoupOn捕捉的激发-收缩特征对监测位点、动作力度的响应

图4.复合贴片CoupOn捕捉的激发-收缩特征对动作速度的响应

基于该力电耦合界面对抓握动作中力度和速度的响应性，该团队进一步正交识别了抓握物体时四类情况，并操纵机械手复制对应抓握动作的动态过程(图5)。实际抓握过程被粗略分为两个步骤：1）手掌包覆目标物，不施加抓握力(minFist);2)施加抓握力，抓起目标物。通过控制这两个步骤的动作速度，该团队抓取了四类抓握情况的力电耦合过程，即慢包慢握，慢包快握，快包慢握和快包快握。并转变成机器指令控制机械手完成同样抓握动态过程。

图5.复合贴片CoupOn用于械手动态控制

此外，CoupOn复合贴片亦可用于区分神经性肌肉疲劳和代谢性肌肉疲劳。在神经性肌肉疲劳发生时，肌电信号峰值幅度逐渐下降且信号频率向低频段转移，但无明显应变回降。而发生代谢性疲劳时，研究对象逐渐无法维持抓握动作并伴随应变的逐步回降甚至肌肉颤抖。此外，在连续代谢性疲劳时，由于肌肉内充血作用，单次应变信号的初始峰值亦随着疲劳次数下降，可用于定性判断代谢性疲劳历史。

陈晓东教授团队开发的局域性力电耦合界面，通过抓取肌肉动作中同时同地的激发-收缩特征，准确识别了手势动作的幅度、力度、速度，甚至疲劳程度，为更加灵巧准确的人机交互提供了新的思路。

原文链接：

https://www.nature.com/articles/s41467-020-15990-7 

相关进展

高分子科技原创文章。欢迎个人转发和分享，刊物或媒体如需转载，请联系邮箱：[e-mail]

诚邀投稿

欢迎专家学者提供稿件（论文、项目介绍、新技术、学术交流、单位新闻、参会信息、招聘招生等）至[e-mail]，并请注明详细联系信息。高分子科技®会及时推送，并同时发布在中国聚合物网上。

欢迎加入微信群 为满足高分子产学研各界同仁的要求，陆续开通了包括高分子专家学者群在内的几十个专项交流群，也包括高分子产业技术、企业家、博士、研究生、媒体期刊会展协会等群，全覆盖高分子产业或领域。目前汇聚了国内外高校科研院所及企业研发中心的上万名顶尖的专家学者、技术人员及企业家。

申请入群，请先加审核微信号PolymerChina （或长按下方二维码），并请一定注明：高分子+姓名+单位+职称（或学位）+领域（或行业），否则不予受理，资格经过审核后入相关专业群。

点

这里“阅读原文”，查看更多